Bergson: Biblioteca de código abierto para atribución de datos
Bergson es una biblioteca open source que facilita la atribución de datos en modelos de lenguaje grandes. Implementa MAGIC, SOURCE y TrackStar. ¡Descúbrela!
#entrenamiento distribuido
GASLoC: unificando comunicaciones y actualizaciones locales para LLMs
GASLoC unifica comunicaciones y actualizaciones locales para preentrenar LLMs de forma eficiente, superando a DiLoCo en entornos heterogéneos.
Piper: Sistema de entrenamiento distribuido programable
Piper: sistema programable que separa estrategia del runtime para entrenamiento distribuido. Optimiza memoria y rendimiento en paralelismo compuesto.
CUCo: Marco agéntico para el codiseño de cómputo y comunicación
Acelera LLMs distribuidos hasta 1.57x con CUCo, marco agéntico que codiseña kernels CUDA automáticamente, con costos inferiores a $10.
Aprendizaje de compresión de subespacios para paralelismo eficiente en pipeline
MAPL comprime activaciones en paralelismo de tubería con proyecciones ortogonales aprendidas, reduce comunicación sin pérdida de rendimiento en modelos LLaMA.
AgentJet: Marco de entrenamiento enjambre para RL agentivo
AgentJet: marco enjambre para RL agentivo. Entrena agentes heterogéneos con tolerancia a fallos, edición en vivo y acelera 10x. Ideal para investigadores.
Desmitificando el paralelismo de pipelines: teoría para PipeDream
Descubre cómo PipeDream logra convergencia en entrenamiento distribuido con un nuevo análisis teórico no convexo. Comparativa con LocalSGD.
ParaBlock: Aprendizaje Federado con Bloques Coordinados en Paralelo
Descubre ParaBlock: una técnica innovadora que acelera el aprendizaje federado de grandes modelos de lenguaje al paralelizar comunicación y computación, manteniendo el rendimiento.
Echelon: Agregados auditables para adaptación de modelos entre fronteras
Descubre cómo Echelon permite adaptar modelos de lenguaje entre organizaciones sin exponer datos, usando solo agregados auditables.
Paralelismo de Modelos con Subredes de Datos
Descubre cómo el Subnetwork Data Parallelism reduce el uso de memoria en un 28-60% al entrenar modelos de IA, manteniendo el rendimiento. ¡Optimiza tu entrenamiento distribuido!